Sinh ngày 25 tháng 10 năm 1832 là con trai nhỏ nhất của Sa hoàng Nikolai I và Charlotte Wilhelmine của Phổ. Với tư cách là con trai của Sa hoàng Nga ông được tấn phong tước hiệu Đại vương công từ khi chào đời. Thiếu thời ông được giáo dục bởi chính cha mẹ. Năm 1843 và 1844, Mikhail cùng với hai anh trai Nikolai và Konstantin góp mặt trên chuyến đi đến Vịnh Phần Lan.[5]

Vào ngày 16 tháng 8 năm 1857, ông kết hôn với Công chúa Cecilie của Baden con gái của Đại vương công Leopold của Baden và sinh được 7 người con gồm 6 trai và 1 gái.[6]